[Anesthesiology Journal club assessment by means of semantic changes]. / Avaliação do clube de revista de anestesiologia por meio de mudanças semânticas.

BACKGROUND AND OBJECTIVES: The interactive approach of a journal club has been described in the medical education literature. The aim of this investigation is to present an assessment of journal club as a tool to address the question whether residents read more and critically. METHODS: This study reports the performance of medical residents in anesthesiology from the Clinics Hospital - University of São Paulo Medical School. All medical residents were invited to answer five questions derived from discussed papers. The answer sheet consisted of an affirmative statement with a Likert type scale (totally disagree-disagree-not sure-agree-totally agree), each related to one of the chosen articles. The results were evaluated by means of item analysis - difficulty index and discrimination power. RESULTS: Residents filled one hundred and seventy three evaluations in the months of December 2011 (n=51), July 2012 (n=66) and December 2012 (n=56). The first exam presented all items with straight statement, second and third exams presented mixed items. Separating "totally agree" from "agree" increased the difficulty indices, but did not improve the discrimination power. CONCLUSIONS: The use of a journal club assessment with straight and inverted statements and by means of five points scale for agreement has been shown to increase its item difficulty and discrimination power. This may reflect involvement either with the reading or the discussion during the journal meeting.

Anesthesiology Journal club assessment by means of semantic changes.

BACKGROUND AND OBJECTIVES: the interactive approach of a journal club has been described in the medical education literature. The aim of this investigation is to present an assessment of journal club as a tool to address the question whether residents read more and critically. METHODS: this study reports the performance of medical residents in anesthesiology from the Clinics Hospital - University of São Paulo Medical School. All medical residents were invited to answer five questions derived from discussed papers. The answer sheet consisted of an affirmative statement with a Likert type scale (totally disagree-disagree-not sure-agree-totally agree), each related to one of the chosen articles. The results were evaluated by means of item analysis - difficulty index and discrimination power. RESULTS: residents filled one hundred and seventy three evaluations in the months of December 2011 (n=51), July 2012 (n=66) and December 2012 (n=56). The first exam presented all items with straight statement, second and third exams presented mixed items. Separating "totally agree" from "agree" increased the difficulty indices, but did not improve the discrimination power. CONCLUSIONS: the use of a journal club assessment with straight and inverted statements and by means of five points scale for agreement has been shown to increase its item difficulty and discrimination power. This may reflect involvement either with the reading or the discussion during the journal meeting.

Anesthesiology Journal club assessment by means of semantic changes / Avaliação do clube de revista de anestesiologia por meio de mudanças semânticas / Evaluación del club de la revista de anestesiología por medio de cambios semánticos

BACKGROUND AND OBJECTIVES: the interactive approach of a journal club has been described in the medical education literature. The aim of this investigation is to present an assessment of journal club as a tool to address the question whether residents read more and critically. METHODS: this study reports the performance of medical residents in anesthesiology from the Clinics Hospital - University of São Paulo Medical School. All medical residents were invited to answer five questions derived from discussed papers. The answer sheet consisted of an affirmative statement with a Likert type scale (totally disagree-disagree-not sure-agree-totally agree), each related to one of the chosen articles. The results were evaluated by means of item analysis - difficulty index and discrimination power. RESULTS: residents filled one hundred and seventy three evaluations in the months of December 2011 (n = 51), July 2012 (n = 66) and December 2012 (n = 56). The first exam presented all items with straight statement, second and third exams presented mixed items. Separating "totally agree" from "agree" increased the difficulty indices, but did not improve the discrimination power. CONCLUSIONS: the use of a journal club assessment with straight and inverted statements and by means of five points scale for agreement has been shown to increase its item difficulty and discrimination power. This may reflect involvement either with the reading or the discussion during the journal meeting. .

JUSTIFICATIVA E OBJETIVOS: a abordagem interativa de um clube de revista foi descrita na literatura de ensino médico. O objetivo desta investigação é apresentar uma avaliação do clube de revista como uma ferramenta para discutir a questão da leitura crítica entre os residentes. MÉTODOS: este estudo relata o desempenho dos médicos residentes de anestesiologia do Hospital das Clínicas - Faculdade de Medicina da Universidade de São Paulo. Todos os médicos residentes foram convidados a responder a cinco perguntas derivadas de artigos discutidos. A folha de resposta consistia em uma declaração afirmativa com uma escala do tipo Likert (discordo totalmente, discordo, não tenho certeza, concordo, concordo totalmente), cada declaração relacionada a um dos artigos escolhidos. Os resultados foram avaliados por meio da análise de itens - índice de dificuldade e poder de discriminação. RESULTADOS: os residentes completaram 173 avaliações nos meses de dezembro de 2011 (n = 51), julho de 2012 (n = 66) e dezembro de 2012 (n = 56). O primeiro teste apresentou todos os itens com declaração direta e o segundo e terceiro testes apresentaram itens mistos. Separar "concordo totalmente" de "concordo" aumentou os índices de dificuldade, mas não melhorou o poder de discriminação. CONCLUSÕES: o uso de uma avaliação do clube revista com declarações diretas e inversas e com o uso de uma escala de cinco pontos para acordo mostrou aumentar a dificuldade do item e o poder de discriminação. Isso pode refletir o envolvimento com a leitura ou com a discussão durante as reuniões do clube. .

JUSTIFICACIÓN Y OBJETIVOS: El abordaje interactivo de un club de revista ha sido descrito en la literatura de enseñanza médica. El objetivo de esta investigación es presentar una evaluación del club de revista como una herramienta para discutir la cuestión de la lectura crítica entre los residentes. MÉTODOS: Este estudio relata el desempeño de los médicos residentes de anestesiología del Hospital das Clínicas de la Facultad de Medicina de la Universidad de São Paulo. Todos los médicos residentes fueron invitados a responder a 5 preguntas derivadas de artículos discutidos. La hoja de respuesta consistía en una declaración afirmativa con una escala del tipo Likert ("estoy totalmente en desacuerdo", "en desacuerdo", "no estoy seguro", "estoy de acuerdo", "estoy totalmente de acuerdo"), cada declaración relacionada con uno de los artículos escogidos. Los resultados se evaluaron por medio del análisis de los ítems: índice de dificultad y poder de discriminación. RESULTADOS: Los residentes completaron 173 evaluaciones en los meses de diciembre de 2011 (n = 51), julio de 2012 (n = 66) y diciembre de 2012 (n = 56). El primer test incluyó todos los títulos con declaración directa y el segundo y el tercero tuvieron títulos mezclados. Separar "estoy totalmente de acuerdo" de "estoy de acuerdo" aumentó los índices de dificultad pero no mejoró el poder de discriminación. CONCLUSIONES: El uso de una evaluación del club de revista con declaraciones directas e inversas y con el uso de una escala de 5 puntos para "estoy de acuerdo", mostró el aumento de la dificultad del ítem y del poder de discriminación. Eso puede reflejar el nivel de implicación en la lectura o en la discusión durante las reuniones del club. .

Avaliação formativa entre alunos de medicina do quarto ano: relato de experiência / Formative assessment among fourth-year medical students: an exeperience report

OBJETIVO: Comparar grau de dificuldade, satisfação e escores finais entre os métodos de avaliação formativa e somativa em alunos de Medicina do quarto ano, na disciplina de Ginecologia e Obstetrícia. MÉTODO: Trinta e oito alunos foram submetidos a um exame escrito (alternativo) e, um mês depois, ao método tradicional de escolha múltipla. O exame alternativo consistia em casos clínicos reais, enfocando as hipóteses diagnósticas e o manejo médico. As questões eram graduadas em 0, 0,5 ou 1 ponto. Após o resultado inicial, os exames eram devolvidos e, em duas semanas, os alunos tinham que escrever uma dissertação estruturada para cada resposta errada. Pontos adicionais (+ 0,5 ou + 1) eram dados para cada resposta. Dissertações com incorreções descontavam pontos da nota original. O teste tradicional consistia em conceitos clínicos e prevalência de diferentes doenças e de agentes etiológicos. Nenhum retorno era dado, a não ser a nota final. O grau de dificuldade, a média final de ambos os exames e a resposta dos alunos a essa iniciativa foram comparados entre os dois métodos. RESULTADOS: O exame escrito alternativo teve maior grau de dificuldade (7,6 ± 0,2 vs. 5,2 ± 0,4; p < 0,001). Nenhuma diferença estatística foi encontrada entre as médias dos escores finais de ambos os métodos (8,3 ± 0.9 vs. 8,5 ± 0,9; p > 0,05). Os alunos preferiram o método alternativo, quando comparado ao tradicional (8,6 ± 0,2 vs. 5,4 ± 0,4; p < 0,001). CONCLUSÃO: A avaliação formativa foi mais difícil do que a tradicional, mas os escores finais da classe dos alunos não foram menores do que os escores dos testes tradicionais. Os alunos preferiram a avaliação formativa.

OBJECTIVES: To compare the degree of difficulty, satisfaction and the final scores between the formative and summative assessment method among fourth-year medical students in the discipline of obstetrics and gynecology. METHOD: Thirty-eight students took a written exam (alternative) and 1 month later they were tested using the traditional multiple choices method. The alternative exam consisted in real clinical cases focusing on diagnostic hypothesis and medical management. The questions were scored 0, 0.5 or 1 point. After the initial result, the exams were returned and, within 2 weeks, the students had to prepare a structured essay in relation to each wrong answer. Additional points (+ 0.5, or +1) were given for each correct answer. Points were deduced for incorrect essays. The traditional exam consisted in clinical concepts, the prevalence of different diseases and etiological agents. No feedback but the final score was given. The degree of difficulty, the final mean score of both exams, and the students' responses to this initiative were compared between both methods. RESULTS: The alternative written exam had a higher degree of difficulty (7.6 ± 0.2 vs. 5.2 ± 0.4; p < 0.001). No statistical difference was found between the means of the final scores of both methods (8.3 ± 0.9 vs. 8.5 ± 0.9; p > 0.05). The students preferred the alternative method when compared to the traditional one (8.6 ± 0.2 vs. 5.4 ± 0.4; p < 0.001). CONCLUSION: The formative assessment was more difficult than the traditional one. Nevertheless, the final scores of the medical class for the formative test were not lower than the scores for the traditional test. All students declared to prefer the formative assessment.

O impacto epidemiológico e social das ações do Programa de Saúde da Família - PSF, na saúde dos usuários em Feira de Santana - Bahia / Epidemiological and social impact of actions of the Family Health Program on the health of beneficiaries in Feira de Santana, Bahia, Brazil, 2008

A avaliação e monitoramento das ações de saúde constituem-se pilares para assegurar a integralidade e a qualidade da atenção à saúde aos usuários do SUS. Tendo em vista a avaliação da Atenção Básica em Saúde em Feira de Santana – Bahia, realizou-se pesquisa, utilizando-se instrumento Primary Care Assessment Tool (PCAT)R, validado, adaptado por Almeida, Escola Nacional de Saúde Publica. Foram analisadas as dimensões: acessibilidade, porta de entrada, vínculo, serviço, coordenação, e enfoque familiar. A amostra foi constituída por 54 profissionais de saúde, nas 82 Unidades de Saúde do município (UBS e USF) e 11 supervisores das ESF, na Secretaria Municipal de Saúde. Em geral, as unidades do PSF atingiram índices melhores nas dimensões organizacionais e de desempenho da atenção básica do que as UBS tradicionais, mas em algumas dimensões as UBS apresentaram valores equivalentes, o que pode ser explicado pela maior tradição do município no desenvolvimento da atenção básica tradicional e pouco tempo de implementação do PSF (cerca de sete anos). Apesar das diferenças nos valores médios, os resultados mostraram uma variação considerável no desempenho das unidades. Em geral, as unidades do PSF tiveram valores maiores do que as UBS; entretanto algumas UBS tiveram desempenho igual ou superior a algumas unidades PSF. De acordo com os profissionais e gestores, as USF obtiveram valores mais significativos que nas UBS a exemplo dos indicadores de acesso, elenco de serviços, coordenação, formação profissional e gestão. Já em relação ao vínculo o índice é elevado tanto para as USF quanto para as UBS. Por outro lado, existem desafios importantes a serem superados, sobretudo no que diz respeito ao acesso, porta de entrada, elenco de serviços e coordenação. Na dimensão coordenação, segundo os profissionais, não existe grande diferença entre as unidades do PSF e as tradicionais. O valor médio para os dois tipos de unidades é praticamente igual, respectivamente USF e UBS, 3,73...

In the Health Service, the actions of evaluation and monitoring constitute the principal pillars to ensure the integrality and the quality of attention given to SUS users. To guarantee integral services requires that the attention given to the population at different levels is capable of adequately recognizing the variety of necessities and demands related to different communities’ health issues, and offer the adequate resources to deal with them. In this sense, Basic Attention surges as an important space for the construction of answers to the health problems presented by a population, which must be considered in light of their historical, social and cultural contexts. Starting from the understanding that Basic Attention, as part of the public service, constitutes one of the most important focuses for the consolidation of the achievements of the Sanitary Reform, the integrality of the attention is the combination of all the other SUS principles, and substantiates care as a complex health technology, present at all levels of the system. In this way the care given to the population involves a series of practices that need to be evaluated as elements of transformation of the attention model. Considering the evaluation necessities, we understand “care” as a dimension which results from interaction relations among subjects (health team of the family/users/managers), in their everyday routines of basic attention regarding health, whether in the individualized therapeutic process, or in coexistence with the community. From this viewpoint, Feira de Santana advanced to consolidate the SUS, capacitating the full management of the Municipal System, in 2004. From the evaluation of Basic Attention in Health and the Epidemiological and Social Impact of the actions of the Family Health Program – FHP, research was carried out on the Health of users of Feira de Santana, State of Bahia, using the Primary Care Assessment Tool (PCAT)R, elaborated by Barbara Starfield and James…

O impacto epidemiológico e social das ações do Programa de Saúde da Família - PSF, na saúde dos usuários em Feira de Santana - Bahia / Epidemiological and social impact of actions of the Family Health Program on the health of beneficiaries in Feira de Santana, Bahia, Brazil, 2008

A avaliação e monitoramento das ações de saúde constituem-se pilares para assegurar a integralidade e a qualidade da atenção à saúde aos usuários do SUS. Tendo em vista a avaliação da Atenção Básica em Saúde em Feira de Santana – Bahia, realizou-se pesquisa, utilizando-se instrumento Primary Care Assessment Tool (PCAT)R, validado, adaptado por Almeida, Escola Nacional de Saúde Publica. Foram analisadas as dimensões: acessibilidade, porta de entrada, vínculo, serviço, coordenação, e enfoque familiar. A amostra foi constituída por 54 profissionais de saúde, nas 82 Unidades de Saúde do município (UBS e USF) e 11 supervisores das ESF, na Secretaria Municipal de Saúde. Em geral, as unidades do PSF atingiram índices melhores nas dimensões organizacionais e de desempenho da atenção básica do que as UBS tradicionais, mas em algumas dimensões as UBS apresentaram valores equivalentes, o que pode ser explicado pela maior tradição do município no desenvolvimento da atenção básica tradicional e pouco tempo de implementação do PSF (cerca de sete anos). Apesar das diferenças nos valores médios, os resultados mostraram uma variação considerável no desempenho das unidades. Em geral, as unidades do PSF tiveram valores maiores do que as UBS; entretanto algumas UBS tiveram desempenho igual ou superior a algumas unidades PSF. De acordo com os profissionais e gestores, as USF obtiveram valores mais significativos que nas UBS a exemplo dos indicadores de acesso, elenco de serviços, coordenação, formação profissional e gestão. Já em relação ao vínculo o índice é elevado tanto para as USF quanto para as UBS. Por outro lado, existem desafios importantes a serem superados, sobretudo no que diz respeito ao acesso, porta de entrada, elenco de serviços e coordenação. Na dimensão coordenação, segundo os profissionais, não existe grande diferença entre as unidades do PSF e as tradicionais. O valor médio para os dois tipos de unidades é praticamente igual, respectivamente USF e UBS, 3,73...

In the Health Service, the actions of evaluation and monitoring constitute the principal pillars to ensure the integrality and the quality of attention given to SUS users. To guarantee integral services requires that the attention given to the population at different levels is capable of adequately recognizing the variety of necessities and demands related to different communities’ health issues, and offer the adequate resources to deal with them. In this sense, Basic Attention surges as an important space for the construction of answers to the health problems presented by a population, which must be considered in light of their historical, social and cultural contexts. Starting from the understanding that Basic Attention, as part of the public service, constitutes one of the most important focuses for the consolidation of the achievements of the Sanitary Reform, the integrality of the attention is the combination of all the other SUS principles, and substantiates care as a complex health technology, present at all levels of the system. In this way the care given to the population involves a series of practices that need to be evaluated as elements of transformation of the attention model. Considering the evaluation necessities, we understand “care” as a dimension which results from interaction relations among subjects (health team of the family/users/managers), in their everyday routines of basic attention regarding health, whether in the individualized therapeutic process, or in coexistence with the community. From this viewpoint, Feira de Santana advanced to consolidate the SUS, capacitating the full management of the Municipal System, in 2004. From the evaluation of Basic Attention in Health and the Epidemiological and Social Impact of the actions of the Family Health Program – FHP, research was carried out on the Health of users of Feira de Santana, State of Bahia, using the Primary Care Assessment Tool (PCAT)R, elaborated by Barbara Starfield and James…